Предисловие

1    ПОДГОТОВЛЕН Некоммерческим партнерством «Русское общество содействия развитию биометрических технологий, систем и коммуникаций» (Некоммерческое партнерство «Русское биометрическое общество») и Федеральным государственным унитарным предприятием «Всероссийский научно-исследовательский институт стандартизации и сертификации в машиностроении» (ВНИИНМАШ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4, при консультативной поддержке Федерального государственного бюджетного образовательного учреждения высшего образования «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)» (МГТУ им. Н.Э. Баумана)

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 098 «Биометрия и биомониторинг»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 30 ноября 2018 г. № 1049-ст

4    Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО/МЭК 19795-2:2007 «Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методология проведения технологического и сценарного испытаний» (ISO/IEC 19795-2:2007 «Information Technology — Biometric performance testing and reporting — Part 2: Testing methodologies for technology and scenario evaluation», MOD), включая изменение Amd.1:2015, путем изменения отдельных фраз (слов, значений показателей, ссылок), которые выделены в тексте курсивом. Внесение указанных технических отклонений направлено на учет потребностей национальной экономики Российской Федерации. Кроме того, потребности национальной экономики Российской Федерации учтены в дополнительном приложении ДА.

Изменение к указанному международному стандарту, принятое после его официальной публикации. внесено в текст настоящего стандарта и выделено двойной вертикальной линией, расположенной на полях напротив соответствующего текста.

Сведения о соответствии ссылочных национальных и межгосударственного стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте. приведены в дополнительном приложении ДБ

Сопоставление структуры настоящего стандарта со структурой указанного международного стандарта приведено в дополнительном приложении ДВ

5    ВЗАМЕН ГОСТ Р ИСО/МЭК 19795-2—2008

6    Некоторые элементы настоящего стандарта могут быть объектами патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за установление подлинности каких-либо или всех подобных патентных прав

Окончание таблицы 2

Объект сравнения Технологическое испытание Сценарное испытание Испытуемый субъект получает сведения о результатах попытки в режиме реального времени Нет Да Воспроизводимость результатов Воспроизводимы Квазивоспроизводимы, если контролируются условия испытания и человеческий фактор Контроль параметров физической среды Может быть осуществлен только в процессе сбора биометрических данных, в противном случае невозможен Возможен и/или ведется протоколирование Протоколирование взаимодействия с испытуемым субъектом В ходе испытания невозможно Может быть осуществлено только в процессе сбора биометрических данных Возможно Типичные результаты Относительная надежность биометрических компонентов или их модификаций (например, алгоритмов сравнения или извлечения биометрических признаков). Определение основных факторов, влияющих на эксплуатационные характеристики Относительная надежность биометрической системы Определение основных факторов, влияющих на эксплуатационные характеристики Оценка эксплуатационных характеристик в режиме имитации Типичные метрики Вероятности возникновения ошибок Косвенные измерения пропускной способности. Подходит для проверки эксплуатационных характеристик широкомасштабной системы биометрической идентификации в случае, когда сложно собрать большую испытуемую группу Прогнозируемая сквозная пропускная способность ВЛС. вероятность ложного несовпадения (ВЛНС). вероятность отказа получения биометрических данных (ВОПБД). ВОБР Обобщенная вероятность ложного допуска (ОВЛД), обобщенная вероятность ложного недопуска (ОВЛНД) Ограничения Соответствующая база данных, то есть полученная с помощью одного или более датчиков. идентичность которых известна или не известна Эксплуатационные, инструментальные Испытуемая выборка людей Сохраненная информация Участие в режиме реального времени Примечание — В таблице приведены основные отопительные особенности испытаний биометрических систем, в некоторых случаях возможны исключения

6 Технологическое испытание

6.1    Программа испытаний

6.1.1    Цель

Целью испытания является оценка характеристик биометрической системы при работе с целевым приложением в процессе биометрической регистрации, получения биометрических данных и сравнения.

6.1.2    Степень соответствия приложения действительности

Если испытание проводят с целью оценки эксплуатационных характеристик биометрической системы в рамках одного приложения или одного принципа действия, то оно должно быть разработано и проведено таким образом, чтобы имитировать функциональные (ввод/вывод) и практические (например. процессы биометрической регистрации или биометрической верификации) особенности подобного приложения или принципа действия.

Пример — Если в реальных условиях в ходе попытки регистрации для образования транзакции биометрической регистрации собираются несколько изображений, то и программа технологического испытания должна соответствовать данным условиям.

По возможности испытуемые биометрические системы должны выводить результаты сравнения после каждой попытки сравнения.

6.1.3    Определение соответствующих эксплуатационных характеристик

Экспериментаторы должны определить, какие эксплуатационные характеристики в дополнение к

указанным в 6.3 могут быть проверены в процессе данного испытания.

Программа испытания должна обеспечивать, чтобы в процессе испытания все требуемые метрики были проверены.

Экспериментаторы должны определить тип(ы) сравнения, который(ые) будут применяться в ходе технологического испытания. Должны быть указаны один или несколько из следующих типов сравнения:

a)    биометрическая верификация;

b)    биометрическая идентификация на открытом множестве;

c)    биометрическая идентификация на замкнутом множестве.

Необходимо предоставить обоснование выбора того или иного типа сравнения, применяемого 8 рамках технологического испытания. Испытуемое сравнение должно быть применимо к рассматриваемому алгоритму. Испытание биометрических систем, разработанных для проведения особых типов сравнения (например, биометрическая идентификация по спискам), должно обеспечивать формирование результатов соответствующего вида.

Примечание — Формулы расчета вероятностей ошибок приведены в разделе 7 ГОСТ Р ИСО/МЭК 19795-1—2007

6.1.4    Приоритет реализации биометрической системы

Программа испытания не должна устанавливать метод(ы), с помощью которого(ых) биометрическая система реализует свои функции. Реализация биометрической системой своих функций происходит независимо. Биометрическая система, осуществляющая распознавание, должна реализовывать данную функцию своим способом.

Примечание — Разделение того, что делает биометрическая система, и того, как она это делает, является фундаментальным принципом, позволяющим проводить испытания системы в режиме отложенного задания В первую очередь необходимо определить ответственность экспериментатора и разработчика системы и разграничить их По возможности испытуемая система должна рассматриваться как «черный ящик», основной функцией которой является принятие решений по результатам обработки полученных биометрических образцов Алгоритмы принятия решений могут являться объектом интеллектуальной собственности, но в любом случае экспериментатора не должна интересовать данная проблема Подобный подход упрощает проведение испытаний любых биометрических образцов

Примеры

1    Если разрешение изображения отпечатка пальца составляет 1000 точек/дюйм, а испытуемое устройство сбора биометрических данных способно обрабатывать изображения только с вдвое меньшим разрешением, то экспериментатор должен, во-первых, не уменьшать разрешение, так как метод уменьшения разрешения является нетривиальным, и, во-вторых, проинформировать разработчика о необходимости внедрения функции уменьшения разрешения изображения.

2    Ряд одновременно полученных нефронтальных изображений лица может обрабатываться биометрической системой или устройством сбора биометрических данных как минимум тремя способами: выбор наилучшего изображения, обобщение изображений или создание пространственной трехмерной модели. В любом случае биометрическая система или устройство сбора биометрических данных принимают решение самостоятельно.

3    Большинство автоматизированных систем биометрической идентификации по изображениям отпечатков пальцев (то есть систем, которые идентифицируют записи, содержащие несколько отпечатков пальцев) содержат в себе механизм исключительной классификации, позволяющий разделять базу данных на части в соответствии с определенным критерием (наиболее простой пример — класс Гонри) и осуществлять поиск только в той части базы данных, которой соответствует категория биометрического образца пользователя или «самозванца». За счет этого повышается пропускная способность, но при этом возникает вероятность снижения точности обработки. Компромиссное решение достигается путем установки разработчиком параметров исключительной классификации, а пропускная способность и точность обработки определяются путем выполнения полномасштабных испытаний для каждой конфигурации.

4 Если требуется показать эффективность использования нескольких изображений отпечатков пальцев в биометрической системе, то экспериментатор не должен вводить в систему отдельные изображения как отдельные биометрические образцы и проводить последующее обобщение показателей, полученных для каждого отдельного изображения (см. ГОСТ Р ИСО/МЭК 19794-2). Необходимо все изображения рассматривать как единственный обобщенный биометрический образец, при этом биометрическая система должна сама проводить обобщение. Более подробно данный вопрос рассмотрен в ГОСТ Р ИСО/МЭК 19794-2.

6.1.5    Политика раскрытия информации разработчикам

Экспериментатор перед началом испытания должен сформулировать политику, в соответствии с которой определяют, какая информация должна быть предоставлена разработчику перед транспортированием, установкой и настройкой испытательного оборудования, а какая — в процессе испытания.

6.1.6    Отсутствие взаимозаменяемости между попытками биометрической идентификации и попытками биометрической верификации

Результаты сравнения, полученные в ходе биометрической идентификации при поиске «один ко многим», не должны необоснованно представляться как результаты попыток биометрической верификации.

Примечания

1    В соответствии с принципом максимального приближения испытания к реальным условиям эксплуатации характеристики биометрической системы следует рассчитывать по результатам проведенных попыток (то есть исходя из числа принятых и отклоненных попыток) Характеристики системы биометрической верификации следует оценивать по результатам последовательности запросов пользователя на проверку идентичности Характеристики системы биометрической идентификации следует оценивать аналогичным образом при поиске «один ко многим». Даже в случае, если при поиске «один ко многим» создается полный список кандидатов, он не должен рассматриваться как результат N-го числа попыток биометрической верификации и использоваться в процессе оценки эксплуатационных характеристик системы биометрической верификации

2    Расхождение результатов единичной попытки биометрической идентификации и N-co числа попыток биометрической верификации, в процессе которых осуществлялось сравнение «один к одному», обусловлено тем, что результаты биометрической верификации могут быть более точными, если в ходе так называемого процесса общей нормализации полученный от пользователя биометрический образец сравнивается с дополнительными скрытыми биометрическими образцами Данный метод позволяет регулировать первичный результат сравнения с целью снижения вероятности ложного допуска (ВЛД) за счет возможности более эффективной работы с порогами, зависящими от пользователей При использовании данного метода эксплуатационные характеристики улучшаются за счет пропускной способности, так как дополнительные сравнения означают, что биометрическая верификация в режиме «один к одному» также включает в себя сравнения в режиме «один к М» где М — число скрытых биометрических контрольных шаблонов

3    Использование метода общей нормализации, осуществляемого самим устройством сбора биометрических данных, делает скрытым использование любой внутренне определенной зарегистрированной выборки.

6.1.7    Подтверждение моделей

Если модель, приближенный результат или прогноз эксплуатационных характеристик систем биометрической идентификации, представляется вместо или в дополнение к эмпирическим данным, то такая модель должна быть по возможности подтверждена с помощью всех имеющихся данных, а результаты проверки должны быть полностью задокументированы.

6.1.8    Последовательность использования данных

Программа испытания должна определять порядок использования данных, который должен быть применим к используемому приложению. Биометрическая система должна обрабатывать данные только в заданной последовательности.

Примечания

1    Транзакции, как правило, выполняются отдельно, поэтому биометрическая система требует завершения одной транзакции до начала другой

2    Большинство биометрических приложений предполагает последовательное и раздельное использование биометрических систем или устройств сбора биометрических данных, то есть если пользователи являются подлинными лицами, то биометрические системы используются после прохождения биометрической регистрации

3    Некоторые задачи по биометрической идентификации могут быть непоследовательными Например, групповую биометрическую идентификацию всех людей в замкнутом помещении осуществить довольно просто, так как процесс биометрической идентификации представляет собой линейную задачу

6.1.9    Процедуры, предшествующие испытанию

6.1.9.1    Установка и проверка работоспособности

Испытательная лаборатория должна проследить за тем. что все аппаратное и программное обеспечение установлено и должным образом настроено, и убедиться в том. что биометрическая система функционирует правильно.

Примечание — При установке, настройке и проверке работоспособности биометрической системы может потребоваться участие разработчика(ов).

6.1.9.2    Подготовка данных

Подготовка данных заключается в удалении из образцов персонифицированных данных об испытуемом субъекте и любых других метаданных, которые, как правило, будут недоступны биометрической системе (например, пол, возраст). В противном случае разработчик может получить истинную идентификационную информацию об испытуемых субъектах и сфальсифицировать результаты испытания.

6.1.10    Общая последовательность проведения испытания

Технологическое испытание проводят в следующей последовательности:

-    зарегистрированные биометрические образцы преобразуют в биометрические контрольные шаблоны. которые могут быть сохранены в виде линейной подборки;

-    биометрические образцы, используемые для биометрической идентификации и биометрической верификации, преобразуют в биометрические признаки образца:

-    попытки биометрической верификации представляют собой прямое сравнение биометрических признаков образца с биометрическими контрольными шаблонами;

-    попытки биометрической идентификации на замкнутом множестве представляют собой поиск аналогичного биометрического образца среди зарегистрированной выборки с целью установления идентификатора пользователя;

-    попытки биометрической идентификации на открытом множестве представляют собой поиск аналогичного биометрического образца в базе данных зарегистрированных пользователей, а также:

a)    установление одного или нескольких идентификаторов;

b)    вывод нулевого идентификатора, указывающего на то. что испытуемый субъект не найден в базе данных зарегистрированных пользователей.

Примечания

1    Указанные выше операции могут быть реализованы как на уровне интерфейса прикладного программирования (API), так и с помощью создания скриптов для программных модулей.

2    Описание последовательности проведения основных видов технологических испытаний приведено в приложении А

6.2    Компоновка подходящей для испытания базы данных

6.2.1    Общие положения

Технологическое испытание предназначено для оценки эксплуатационных характеристик одного или нескольких алгоритмов биометрической регистрации и сравнения. При планировании технологического испытания необходимо учитывать, какие данные должен получить экспериментатор.

6.2.2    Однозначная биометрическая регистрация

Все биометрические образцы, находящиеся в базе данных, должны соответствовать реальным людям. Программа испытания не должна включать в себя преднамеренную биометрическую регистрацию нескольких биометрических образцов одного и того же субъекта, как если бы они были получены от разных субъектов. Испытания, при которых каждая идентичность соответствует конкретному субъекту, испытательная лаборатория должна сопровождать описанием процедур, обеспечивающих выполнение данного требования.

Если структура базы данных такова, что она может содержать несколько идентичностей, соответствующих одному субъекту, то, если это целесообразно, такая база данных может быть приведена в соответствие данному требованию путем удаления идентичностей. В противном случае испытание должно проводиться с допущением, что каждая идентичность соответствует разным субъектам.

Примечания

1 Биометрические системы предназначены для однозначной биометрической идентификации субъектов Если одному субъекту соответствуют несколько изображений или сигналов, то для биометрической регистрации и сравнения они должны быть обобщены в один биометрический образец

2    Не допускается использовать в системе биометрической идентификации несколько биометрических образцов (одной или нескольких биометрических модальностей), соответствующих одному и тому же субъекту, и при этом рассматривать попытки биометрической регистрации с использованием данных биометрических образцов как обособленные. Это недопустимо по следующим причинам

-    при биометрической идентификации осуществляется поиск по уже зарегистрированным биометрическим образцам и формирование списка кандидатов Когда несколько биометрических образцов проходят биометрическую регистрацию независимо друг от друга, то обобщение показателей для каждого из этих биометрических образцов предполагается с использованием критерия максимума, потому что наибольший показатель имеет преимущество Даже если число биометрических образцов, соответствующих каждому отдельному субъекту, одинаково для всех субъектов, применять подобную практику не рекомендуется, так как обобщение биометрических образцов является задачей разработчика, который должен предоставить наилучшее по его мнению решение;

-    если объем зарегистрированной выборки не будет соответствовать числу субъектов, то вероятности ошибок, которые зависят от числа зарегистрированных пользователей N. также будут неправильными

3    В настоящем разделе не рассматривается испытание, в процессе которого оценивают влияние использования нескольких (отдельных) зарегистрированных биометрических контрольных шаблонов от каждого испытуемого субъекта, поскольку оно должно быть описано в программе и протоколе испытания

6.2.3    Повторяемость процесса получения биометрических данных

В зависимости от уровня доступа экспериментатора к испытуемой выборке каждый испытуемый субъект может предоставлять свои данные несколько раз в нескольких сеансах. Число транзакций и сеансов может быть увеличено с целью более точной оценки эффекта старения биометрических контрольных шаблонов, а также эффектов приобретения испытуемыми субъектами навыков использования устройств.

6.2.4    Идентификация испытуемого субъекта

Экспериментатор должен предоставить информацию, относящуюся к процессу идентификации испытуемого субъекта, включая как минимум следующие данные:

a)    типы идентификаторов, использовавшихся для идентификации испытуемых субъектов;

b)    объем и тип собранных персональных данных.

6.2.5    Предоставление небиометрической информации

Метаданные, если таковые присутствуют в базе данных и могут быть использованы, также должны быть предоставлены испытуемой(ым) биометрической(им) системе(ам). Протокол испытания должен содержать информацию о наименованиях и типах переменных метаданных, которые в ходе испытания были доступны биометрической системе.

Пример — К таким данным относятся, например, особенности датчика (его настройки), условия окружающей среды (температура, влажность), особенности испытуемого субъекта (пол, возраст) или любая другая подобная информация.

Примечание — В рамках технологического испытания невозможно учесть все аспекты работы биометрической системы в реальных условиях, но из программы испытания не следует исключать те аспекты работы биометрической системы, которые в реальных условиях являются излишними

6.2.6    Репрезентативность базы данных

Программа испытания должна учитывать, а протокол испытания должен включать в себя оценку данных из базы данных на предмет их пригодности для целей испытания или использования в соответствующих приложениях.

Если данные получены под контролем испытательной лаборатории, то информация о взаимодействии экспериментатора и испытуемого субъекта по вопросам акклиматизации, приобретения навыков и получения инструкций также должна быть занесена в протокол испытания.

Примечания

1    Использование технологического испытания с целью прогнозирования эксплуатационных характеристик системы основано на предположении, что биометрические образцы, собираемые в реальных условиях, будут иметь тот же формат и то же качество, что и биометрические образцы, использовавшиеся в процессе испытания

2    В идеальном случае при сборе биометрических данных для различных модальностей уровни навыков, акклиматизации, инструктажа должны быть одинаковыми

6.2.7    Объективность базы данных

База данных может считаться в той или иной степени необъективной, если:

a)    разработчик имел доступ к базе данных;

b)    разработчик предоставил оборудование, использовавшееся при создании или обработке базы данных, особенно если подобная деятельность повлияла на характер или качество базы данных (например. удаление некоторых биометрических образцов);

с) испытуемая система ранее была проверена и настроена с использованием данной базы данных.

Необходимость использования необъективной базы данных должна быть отражена в протоколе испытания.

Биометрические образцы не должны использоваться в испытании, если один или несколько разработчиков ранее имели к ним доступ. Предыдущее испытание или настройка биометрической системы с использованием базы данных (всей или ее фрагмента) должны быть отражены в протоколе испытания.

Примечания

1    Данным требованием не следует пренебрегать, поскольку эксплуатационные характеристики могут быть необоснованно улучшены (сфальсифицированы)

2    Следует иметь в виду. что. как правило, простого изменения биометрического образца недостаточно для того, чтобы обойти ограничение на его повторное использование Необоснованное улучшение (фальсификация) результатов возможно в случае, если сохранена хотя бы одна уникальная особенность биометрических образцов, ранее использовавшихся в испытании.

6.2.8    Изъятие базы данных из использования

Биометрические образцы не должны повторно использоваться в испытании, если одна или несколько испытуемых биометрических систем были настроены на основе эксплуатационных характеристик. полученных в ходе предыдущих испытаний с использованием этих данных.

Примечания

1    Как правило, данная ситуация возникает при использовании обособленных данных

2    При изъятии базы данных могут потребоваться дополнительные затраты, так как необходимо провести дополнительный сбор данных

6.2.9    Проверка корректности базы данных

Проверка корректности — это процесс, с помощью которого данные испытуемых субъектов подвергаются отбору с целью удаления непригодных для испытания.

Проверка корректности может также включать в себя проверки наличия данных испытуемых субъектов, корректности формата этих данных, правильности сбора биометрических образцов и того, что определены ошибки истинной информации.

Экспериментатор должен указать в протоколе, была ли проведена проверка корректности данных испытуемых субъектов. Если проверка корректности данных была проведена, экспериментатор должен предоставить детальный протокол о примененных методах проверки. Кроме того, протокол должен включать в себя информацию об объеме удаленных данных и о критериях, в соответствии с которыми эти данные были удалены.

Примеры

1    Контроль качества базы данных может использоваться для отбора и удаления из базы данных испытуемых субъектов изображений, имеющих низкий контраст.

2    Из базы данных могут быть удалены биометрические образцы, которые не содержат изображения лица при использовании технологии распознавания по лицу (например, изображение лица отсутствует либо изображено тело целиком) или не содержат изображений отпечатков пальцев при использовании технологии распознавания по отпечаткам пальцев (например, присутствует только изображение ладони).

Примечания

1    Так как проверка корректности некоторых типов биометрических данных может быть осуществлена проще, чем других, то процесс проверки корректности данных может приводить к ошибочным результатам испытания

2    Данные, удаленные в процессе проверки корректности базы данных, следует отличать отданных, удаленных при отказе обработки исходных данных В некоторых случаях для определения того, являются ли исключенные данные некорректными или ошибкой обработки исходных данных, требуется воспользоваться оценкой, проводимой экспертом

6.2.10    Условия сбора базы данных

Условия окружающей среды, в которых происходил сбор биометрических данных, могут быть известны или определены. Такой сбор биометрических данных позволяет оценить эксплуатационные характеристики биометрической системы в особых условиях по отношению к нормальным условиям. Подобный контроль может устанавливаться за температурой, освещенностью, влажностью и другими факторами, которые предположительно оказывают влияние на эксплуатационные характеристики биометрической системы.

Доступная информация об условиях окружающей среды, в которых происходит сбор базы данных. имеющая значение для различных испытуемых модальностей, должна быть включена в протокол и отражать, например, следующие факторы:

-    температуру окружающей среды;

-    степень внешнего воздействия условий окружающей среды на компоненты биометрической системы;

-    освещение (тип, направление, интенсивность);

-    фоновые шумы;

-    уровень вибрации.

В случае недоступности подобной информации экспериментатор должен указать это в протоколе испытания.

Примечание — Подробная информация о внешних факторах, влияющих на эксплуатационные характеристики. приведена в ГОСТ Р ИСО/МЭК 19795-1—2007 (С 2 6)

6.2.11 Отказ обработки исходных данных

При испытаниях в режиме отложенного задания используются сохраненные биометрические образцы. полученные либо с участием, либо без участия биометрической системы в процессе получения биометрических данных. Протокол испытания должен содержать всю доступную информацию о предварительной обработке данных перед их использованием в испытании. В частности, если какие-то биометрические образцы были удалены (вручную или автоматической биометрической системой), то необходимо указывать ВООИД.

Примечания

1    Отказ обработки исходных данных может возникать из-за применяемого датчика или алгоритма оценки качества изображений, а не из-за самой испытуемой биометрической системы

2    В некоторых случаях может потребоваться оценка эксперта Например, если несколько ранее полученных образцов изображений будут полностью пустыми, то они обоснованно могут не учитываться при подсчете ВООИД, за исключением тех случаев, когда подобные биометрические образцы регулярно будут появляться в приложении, имитируемом в процессе испытания

6.3 Оценка эксплуатационных характеристик

6.3.1    Биометрическая регистрация

Протокол испытания в режиме отложенного задания должен содержать информацию о ВОБР. то есть доле испытуемых субъектов, чьи предназначенные для биометрической регистрации образцы были объявлены биометрической системой непригодными для биометрической регистрации. Должен быть установлен критерий, в соответствии с которым объявляется отказ биометрической регистрации.

Примечания

1    Отказ биометрической регистрации, определяемый в ходе технологического испытания, является только частью множества отказов, возникновение которых возможно при получении биометрических образцов в реальных условиях

2    Отказ биометрической регистрации может быть объявлен биометрической системой по любой причине Как правило, биометрическая система (соответствующим образом настроенная на определение и обработку изображения или сигнала и имеющая определенный критерий оценки качества) не может получить необходимый сигнал из-за его низкого качества

3    Объявление биометрической системой отказа биометрической регистрации позволяет достичь при сравнении получения лучших эксплуатационных характеристик. Такое изменение одного показателя за счет другого должно учитываться путем обобщения ВОБР и ВЛНС при расчете ОВЛНД

Экспериментатор должен указать минимальное и максимальное допустимые числа биометрических образцов для осуществления успешной биометрической регистрации.

Для каждой испытуемой биометрической системы экспериментатор должен вычислить:

-    распределение показателей качества биометрической регистрации, если это возможно;

-    ВОБР для различных демографических групп, биометрических образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.2    Отказ получения биометрических данных

Протокол испытания в режиме отложенного задания должен содержать информацию о доле попыток биометрической верификации или биометрической идентификации, в ходе которых биометриче-

ской системе не удалось получить или отобрать изображение или сигнал удовлетворительного качества. Данный показатель является ВОПБД.

Примечания

1    ВОПБД на этапе сравнения аналогична ВОБР на этапе биометрической регистрации, поэтому примечания 1 и 2 в 6 31 в данном случае также применимы

2    ВОПБД. а также ВЛС используются для определения ВЛД

3    В процессе технологического испытания отказ получения биометрических данных, как правило, объявляется либо блоком декодирования, либо блоком сравнения и рассматривается как отказ в процессе совершения попытки

Экспериментатор должен указать минимальное и максимальное допустимые числа биометрических образцов для формирования биометрических признаков образца.

Формула для расчета ВОПБД приведена в ГОСТ Р ИСО/МЭК 19795-1—2007.

6.3.3    Метрики системы биометрической верификации

Для каждой испытуемой системы биометрической верификации экспериментатор должен вычислить следующее:

a)    ВЛС и ВЛНС:

b)    вероятность ложного недопуска (ВЛНД) и ВЛД. кроме случаев, когда в соответствии с программой испытания ВЛД и ВЛНД идентичны ВЛС и ВЛНС:

c)    число сравнений, проведенных для подлинных лиц и «самозванцев»:

d)    для подлинных испытуемых субъектов — распределение времени, прошедшего в промежутке между биометрической регистрацией и получением биометрических признаков образца, если это возможно:

e)    неопределенность результатов испытания, а также принципы и формулы для оценки неопределенности.

ВЛС и ВЛНС. а также ВЛД и ВЛНД могут быть представлены в виде кривых рабочих характеристик (РХ) или кривых компромиссного определения ошибки (КОО). Следует также определить число испытуемых субъектов и транзакций, используемых для получения данных вероятностей.

Примечание — Для систем биометрической верификации, которые возвращают решение о соепаде-нии/месовпадении без определения результатов сравнения, эксплуатационные характеристики могут быть указаны одной рабочей точкой на кривой РХ или кривой КОО

Для системы биометрической верификации экспериментатор также должен определить следующее:

a)    распределение результатов сравнения для подлинных испытуемых субъектов и «самозванцев»;

b)    результаты верификации для различных демографических групп, биометрических образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.4    Метрики системы биометрической идентификации

Для всех систем биометрической идентификации экспериментатор должен вычислить неопределенность результатов испытания, а также определить принципы и формулы для вычисления неопределенности.

Для систем биометрической идентификации на замкнутом множестве экспериментатор должен вычислить:

a)    характеристики совокупного совпадения (ХСС);

b)    число выполненных операций поиска.

Для систем биометрической идентификации на открытом множестве экспериментатор должен вычислить:

c)    вероятности ложноположительной биометрической идентификации (ВЛПБИ) и соответствующие вероятности ложноотрицательной биометрической идентификации (ВЛОБИ) (предпочтительно для нескольких порогов);

d)    в случае использования исключительной классификации — вероятность ошибки исключительной классификации и вероятность проникновения.

Для всех систем биометрической идентификации экспериментатор должен вычислить:

e)    результаты биометрической идентификации для различных демографических групп, биометрических образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.5 Обобщенные вероятности ошибок, включающие в себя отказы биометрической регистрации и отказы получения биометрических данных

6.3.5.1    Общие положения

Непосредственные результаты испытания, проведенного в режиме отложенного задания. — набор парных значений (ВЛС и ВЛНС) — должны быть обобщены с измеренными значениями ВОПБД и ВОБР

Примечание — Поскольку биометрическая система может улучшить характеристики ложного допуска и ложного недопуска за счет отбраковки низкокачественных биометрических образцов, то для получения итоговых эксплуатационных характеристик биометрической системы необходимо обобщить ВОПБД и ВОБР с измеренными ВЛС и ВЛНС

Если ВОПБД и ВОБР равны нулю, то это необходимо указать в протоколе испытания. В подобных случаях ОВЛД и ОВЛНД для транзакций, состоящих из одной попытки, не отличаются от обобщенных ВЛС и ВЛНС. Если ВОПБД и ВОБР не равны нулю, необходимо вычислить ВЛД и ВЛНД. что позволит отличать их от ВЛС и ВЛНС.

Примечания

1    В некоторых случаях биометрические образцы, приведшие к отказу получения биометрических данных или отказу биометрической регистрации, могут быть переданы разработчикам системы для дальнейшего изучения

2    Для биометрических систем, которые возвращают решение о совпадении/несовпадении без определения результатов сравнения, эксплуатационные характеристики могут быть указаны в виде одной рабочей точки на кривой РХ или кривой КОО,

3    При очень большом числе отказов биометрической регистрации или отказов получения биометрических данных в результате испытания может быть получено низкое значение ОВЛД при высоком значении ОВЛНД

6.3.5.2    Транзакции, состоящие из одной попытки

Для каждой испытуемой биометрической системы экспериментатор должен определить ОВЛД и ОВЛНД для транзакций, состоящих из одной попытки.

В случаях когда транзакции состоят из одной попытки. ОВЛД может быть рассчитана как доля «самозванцев», успешно прошедших процесс получения биометрических данных и сравнение при некотором пороге t, по следующей формуле

ОВЛД(0 = ВЛС(0 • (1 - ВОПБД) • (1 - ВОБР).

где ОВЛНД — это доля подлинных лиц. биометрические образцы которых не были получены или зарегистрированы. либо при некотором пороге t произошел ложный недопуск. ОВЛНД рассчитывают по следующей формуле

ОВЛНД(0 = ВОПБД + (1 - ВОПБД) • ВОБР + (1 - ВОПБД) • (1 - ВОБР) • ВЛНС(0

Приведенные формулы для вычисления ОВЛД и ОВЛНД справедливы только в том случае, если п = 1, где п — число попыток, разрешенных в транзакции.

Примечания

1    Если биометрическая регистрация проводится выборочно, то может потребоваться использование других формул

2    Определения отказов биометрической регистрации и отказов получения биометрических данных можно избежать, если указать, что все верификационные сравнения будут давать результат сравнения Разработчик может выполнить данное требование путем внесения в биометрическую систему условий отказа биометрической регистрации или отказа получения биометрических данных и указания в протоколе соответствующих минимальных значений, при которых биометрические контрольные шаблоны используются для сравнения «один к одному» Данный метод позволяет включить отказы биометрической регистрации и отказы получения биометрических данных в характеристику КОО

3    Кроме того, ОВЛД и ОВЛНД также могут быть определены путем

-    включения транзакций «самозванца» с отказом (то есть транзакций, которые не были ни приняты, ни отвергнуты). а также транзакций «самозванца» с отказом биометрической регистрации, в общее число транзакций «самозванца»;

-    включения транзакций подлинного лица с отказом (то есть транзакций, которые не были ни приняты, ни отвергнуты), а также транзакций подлинного лица с отказом биометрической регистрации, в общее число транзакций подлинного лица;

-    рассмотрения транзакций подлинного лица с отказом (то есть транзакций, которые не были ни приняты, ни отвергнуты) и транзакций подлинного лица с отказом биометрической регистрации как ложного недопуска

6.3.5.3 Транзакции, состоящие из нескольких попыток

В случаях когда транзакции состоят из нескольких попыток, вычислить ОВЛД и ОВЛНД сложнее. Формулы для таких испытаний должны быть составлены в соответствии со спецификой испытания.

6.3.6    Пропускная способность

6.3.6.1    Общие положения

Испытательная лаборатория может измерять пропускную способность методом, подходящим для испытуемой биометрической системы.

Если время транзакции является одной из измеряемых в процессе испытания эксплуатационных характеристик, то экспериментатор должен указать метод измерения времени транзакции, подходящий для испытуемой биометрической системы.

Примечания

1    Рекомендуется по возможности измерять время всех операций биометрической регистрации и сравнения

2    При испытании в режиме отложенного задания учитывается пропускная способность, определяемая только вычислительными компонентами биометрической системы Например, при биометрической регистрации в процессе испытания в режиме отложенного задания из общего процесса биометрической регистрации учитываются только процессы анализа изображения и создания биометрического контрольного шаблона, в то время как аспекты, связанные с действиями человека (например, размещение пальца на датчике или снятие очков), не учитываются Поэтому показатели пропускной способности системы при биометрической регистрации, полученные в процессе технологического испытания, являются нижней границей рабочих показателей ее пропускной способности.

6.3.6.2    Протоколирование результатов испытания пропускной способности

При вычислении статистических показателей пропускной способности биометрической системы в протоколе необходимо указать ее среднее значение. Также могут быть указаны следующие статистические показатели:

a)    минимальное значение:

b)    максимальное значение;

c)    медиана:

d)    стандартное отклонение.

Примечание — Если при испытаниях (в частности, испытаниях системы биометрической идентификации) используются зарегистрированные выборки разного объема, то экспериментатор должен указать временные характеристики биометрической системы, позволяющие оценить функциональную зависимость пропускной способности системы от размера базы данных, например выявить линейную или квадратичную зависимость

6.3.6.3    Протоколирование результатов испытания процесса сопоставления и пропускной способности

Пропускная способность биометрической системы является важным аспектом технологического

испытания, так как в общем случае за счет снижения пропускной способности можно добиться уменьшения числа ошибок биометрического распознавания. В таких случаях полным описанием эксплуатационных характеристик является кривая КОО с дополнительной третьей осью показателя пропускной способности, с помощью которой персонал, подготавливающий систему к использованию, сможет выбрать подходящую рабочую точку. Кроме того, во многих биометрических системах изменение порога принятия решений требует предъявления либо большего, либо меньшего числа биометрических образцов, необходимых для успешного распознавания попытки биометрической регистрации подлинного лица, что также оказывает влияние на пропускную способность.

6.3.6    4 Измерение времени формирования биометрического контрольного шаблона и времени извлечения биометрических признаков образцов

В некоторых биометрических системах при формировании биометрических контрольных шаблонов и извлечении биометрических признаков для биометрической верификации и биометрической идентификации используются разные виды биометрических образцов и алгоритмов их обработки. Вследствие этого временные характеристики формирования биометрических контрольных шаблонов и извлечения биометрических признаков должны быть указаны в протоколе испытаний отдельно.

6.3.6.5 Одновременное измерение пропускной способности и вероятностей ошибок распознавания

Измерение пропускной способности может быть проведено при измерении вероятностей ошибок распознавания. В этом случае статистические данные результатов испытаний могут быть объединены.

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ni)

© ISO. 2007 — Все права сохраняются © Стандартинформ. оформление. 2018

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

6.3.6.6    Пропускная способность при попытках подлинных лиц и «самозванцев»

В соответствии с принципом максимальной приближенности испытания к реальным условиям пропускная способность биометрической системы может быть вычислена как для подлинных лиц. так и для «самозванцев». Полученные статистические данные могут быть указаны отдельно.

6.3.6.7    Отладка данных после регистрации

Следует иметь в виду, что после того как при испытании систем биометрической идентификации выборка пройдет регистрацию, может быть проведена отладка данных. Под отладкой данных понимается любой процесс, выполняемый биометрической системой в конце регистрации, который обычно используется для разделения векторов признаков с целью улучшения эксплуатационных характеристик.

6.3.6.8    Поиск уникальных образцов при регистрации

Регистрация выборки, проводимая в реальных условиях, как правило, включает в себя проверку уникальности биометрических образцов каждого нового регистрируемого субъекта. Это означает, что регистрация выборки, включающей в себя Л/ субъектов, будет иметь затраты, пропорциональные квадрату объема выборки, то есть Л/². В процессе технологического испытания уникальность биометрических образцов, как правило, изначально предполагается программой испытания, поэтому затраты на регистрацию линейно зависят от объема выборки.

Экспериментатор должен установить, является ли проверка уникальности образцов путем поиска «один ко многим» частью процесса регистрации. Это может быть установлено путем измерения продолжительности времени, затрачиваемого на регистрацию по мере увеличения объема базы данных зарегистрированных пользователей. Если увеличение времени регистрации наблюдается или известно. что оно будет происходить, экспериментатор должен указать это в протоколе испытания. Для того чтобы отделить время, необходимое для проверки уникальности образцов, от времени, затрачиваемого на регистрацию, программа испытания может потребовать отключения функции поиска дубликатов образцов.

Примечание — Допускается проведение отдельного испытания процесса регистрации с построением базы данных, начиная с нуля

6.3.6.9    Аппаратное обеспечение

Если проводятся оценка пропускной способности только программного обеспечения, а также сравнение нескольких алгоритмов, то испытания могут проводиться на одних и тех же аппаратных средствах и в одинаковых операционных средах При этом необходимо проводить перезагрузку биометрической системы между определением пропускной способности каждого алгоритма.

Примечание — Под операционной средой понимаются одни и те же операционные системы, компиляции и компоновки программного обеспечения, а также одинаковый набор фоновых процессов, которые не должны быть ресурсоемкими (то есть не должны загружать систему ввода/вывода, центральный процессор и так далее)

6.4 Формирование протоколов

6.4.1 Общие положения

Результаты испытания должны быть представлены в виде протокола, содержащего описание всего процесса испытания. Все требования, изложенные в 6.1—6.3. также должны быть отражены в протоколе. Если требование невыполнимо или выходит за рамки испытания, протокол должен содержать соответствующую информацию.

Пример — Для биометрических систем, не позволяющих совершать несколько попыток или транзакций с целью сравнения, в протоколе необходимо указать, что необходимые результаты оценки эксплуатационных характеристик при различном уровне затрачиваемых усилий не могут быть предоставлены.

Если требование не было выполнено по причине недоступности информации, то в протоколе должно быть указано, что необходимые данные неизвестны, и приведена причина недоступности данных.

Пример — Испытательная лаборатория может не иметь прав на сбор демографической информации по причине ее конфиденциальности. В данном случае в протоколе должно быть указано, что информация о демографических данных не была собрана из-за ее конфиденциального характера.

Протокол может быть ориентирован на разную аудиторию и предоставляться в виде отдельных частей в разное время.

Содержание

1    Область применения..................................................................1

2    Соответствие........................................................................1

3    Нормативные ссылки..................................................................2

4    Термины и определения...............................................................2

4.1    Компоненты биометрической системы................................................2

4.2    Взаимодействие пользователя с биометрической системой..............................2

4.3    Эксплуатационные характеристики..................................................3

5    Обзор технологических и сценарных испытаний...........................................4

6    Технологическое испытание............................................................6

6.1    Программа испытаний.............................................................6

6.2    Компоновка подходящей для испытания базы данных...................................9

6.3    Оценка эксплуатационных характеристик............................................12

6.4    Формирование протоколов........................................................16

7    Сценарное испытание................................................................18

7.1    Разработка испытания............................................................18

7.2    Испытуемая группа...............................................................23

7.3    Оценка эксплуатационных характеристик............................................25

7.4    Формирование протоколов........................................................27

8    Другие аспекты технологического и сценарного испытаний.................................29

8.1    Участники испытаний.............................................................29

8.2    Объективность испытаний.........................................................29

8.3    Основания для включения в испытания..............................................29

8.4    Использование базы вопросов и ответов.............................................30

8.5    Правовые вопросы...............................................................30

8.6    Предоставление исходной программы испытания.....................................30

8.7    Комментарии разработчиков.......................................................30

Приложение А (справочное) Взаимосвязь между предъявлениями, попытками и транзакциями.....31

Приложение В (справочное) Этапы основных видов технологического испытания и действия.

выполняемые в ходе данного испытания.....................................32

Приложение С (справочное) Протоколирование результатов испытаний при различном уровне

затрачиваемых усилий....................................................40

Приложение D (справочное) Испытание по схеме «клиент — сервер»..........................42

Приложение Е (справочное) Сравнение результатов испытаний нескольких биометрических систем____43

Приложение F (обязательное) Испытание мультимодальных биометрических систем.............44

Приложение ДА (справочное) Программное обеспечение для проведения технологических

испытаний и подготовки протоколов испытаний..............................56

Приложение ДБ (справочное) Сведения о соответствии ссылочных национальных

и межгосударственного стандартов международным стандартам, использованным

в качестве ссылочных в примененном международном стандарте...............58

Приложение ДВ (справочное) Сопоставление структуры настоящего стандарта со структурой

примененного в нем международного стандарта..............................59

Введение

В настоящем стандарте рассмотрены два основных вида эксплуатационных испытаний биометрических систем — технологическое и сценарное. Большая часть испытаний в биометрии относится к одному из этих двух видов. При технологических испытаниях оценивают алгоритмы биометрической регистрации и биометрического сравнения с помощью ранее собранных баз данных. При сценарных испытаниях оценивают датчики и алгоритмы путем обработки биометрических образцов, собранных у испытуемых субъектов в режиме реального времени. Первый вид испытаний предназначен для генерации больших объемов результатов сравнения и списков кандидатов, указывающих на основную различающую способность алгоритма. Второй вид испытаний предназначен для измерения эксплуатационных характеристик в смоделированных условиях окружающей среды, включая взаимодействие испытуемого субъекта с биометрической системой.

Настоящий стандарт основан на требованиях и передовом опыте, определенных в ГОСТ Р ИСО/МЭК 19795-1—2007, в котором рассмотрены конкретные подходы и принципы для применения в широком диапазоне условий испытаний.

Настоящий стандарт предназначен для предоставления разработчикам, производителям и конечным пользователям биометрических систем механизмов для разработки, проведения и протоколирования результатов эксплуатационных испытаний биометрических систем, что позволяет проводить различные испытания эксплуатационных характеристик биометрических систем относительно технологий, сценариев использования и условий окружающей среды.

ГОСТ Р 58292-2018 (ИСО/МЭК 19795-2:2007)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии БИОМЕТРИЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 2

Методы проведения технологического и сценарного испытаний

Information Technology Biometrics Biometric performance testing and reporting Part 2. Testing methodologies for technology and scenario evaluation

Дата введения — 2019—08—01

1    Область применения

Настоящий стандарт устанавливает требования к сбору, анализу данных и протоколированию результатов двух основных видов испытаний — технологического и сценарного.

Требования настоящего стандарта распространяются:

-    на разработку и полноценное описание протоколов для технологического и сценарного испытаний;

-    методы проведения испытаний биометрических систем и протоколирование их результатов, отражающих параметры, присущие определенным видам биометрических испытаний;

-    мультимодальные биометрические системы;

-    описание структуры и эксплуатационных характеристик мультимодальных устройств сбора биометрических данных и биометрических систем;

-    спецификацию методов сбора биометрических данных и расчета эксплуатационных характеристик;

-    спецификацию требований к протоколированию результатов.

2    Соответствие

Методы проведения технологического и сценарного испытаний должны соответствовать требованиям настоящего стандарта.

Требования настоящего стандарта к методам проведения сценарного испытания отличаются от требований, установленных для технологического испытания. Требования настоящего стандарта к методам проведения испытания систем биометрической идентификации отличаются от требований, установленных для испытания систем биометрической верификации. Соответствие методов испытаний требованиям настоящего стандарта может быть обеспечено только в случае соответствия их требованиям. изложенным в следующих разделах настоящего стандарта (см. таблицу 1).

Таблица 1 — Требования соответствия методов испытаний типам сравнения

Тип испытания Тип сравнения Раздел настоящего стандарта Технологическое или сценарное Биометрическая идентификация или биометрическая верификация Разделы 5 и 8 Технологическое Биометрическая идентификация Раздел 6. кроме 6 3 3

Издание официальное

Окончание таблицы 1

Тип испытания Тип сравнения Раздел настоящего стандарта Технологическое Биометрическая верификация Раздел 6, кроме 6 3 4 Сценарное Биометрическая идентификация Раздел 7. кроме 7.3 4 Биометрическая верификация Раздел 7. кроме 7.3 5

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ ISO/1EC 2382-37 Информационные технологии. Словарь. Часть 37. Биометрия ГОСТ Р ИСО/МЭК 19794-2 Информационные технологии. Биометрия. Форматы обмена биометрическими данными. Часть 2. Данные изображения отпечатка пальца — контрольные лючки ГОСТ Р ИСО/МЭК 19795-1—2007 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

ГОСТР ИСО/МЭК 29159-1 Информационные технологии. Биометрия. Калибровка, аугментация и объединение данных в биометрии. Часть 1. Формат объединения данных

ГОСТ Р 54411-2018/1SO/IЕС TR 24722:2015 Информационные технологии. Биометрия. Мультимодальные и другие мультибиометрические технологии

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты*, который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку

4 Термины и определения

В настоящем стандарте применены термины по ГОСТISO/1EC 2382-37 и ГОСТР ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями.

4.1    Компоненты биометрической системы

4.1.1    блок извлечения биометрических признаков (feature extractor): Устройство, предназначенное для извлечения биометрических признаков из биометрического образца.

4.1.2    блок создания биометрического контрольного шаблона (biometric reference generator): Устройство, предназначенное для преобразования биометрического образца в биометрический контрольный шаблон.

4.2    Взаимодействие пользователя с биометрической системой

4.2.1    акклиматизация (acclimatization): Временное ухудшение биометрических характеристик в процессе испытания, которое может влиять на способность датчика обрабатывать биометрический образец.

4.2.2    уровень затрачиваемых усилий (effort level): Число предьявлений, попыток или транзакций. необходимых для успешной биометрической регистрации или успешного биометрического сравнения в биометрической системе.

4.2.3    попытка биометрической регистрации (enrollment attempt): Предоставление испытуемым субъектом одного или нескольких биометрических образцов для биометрической регистрации в биометрической системе.

Примечания

1    Для совершения транзакции биометрической регистрации может разрешаться или требоваться одна или несколько попыток биометрической регистрации Попытка биометрической регистрации может состоять из одного или нескольких предъявлений данных для биометрической регистрации

2    Взаимосвязь между предъявлениями, попытками и транзакциями указана в приложении А

4.2.4    предельное число попыток биометрической регистрации (enrollment attempt limit): Максимальное число попыток (или максимальная продолжительность попытки биометрической регистрации). которое может осуществить испытуемый субъект, прежде чем транзакция биометрической регистрации будет прекращена.

4.2.5    предъявление для биометрической регистрации (enrolment presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для биометрической регистрации.

Примечание — Для совершения попытки биометрической регистрации может разрешаться или требоваться одно или несколько предьявлений для биометрической регистрации. Предъявление для биометрической регистрации может приводить или не приводить к формированию попытки биометрической регистрации

4.2.6    предельное число предъявлений для биометрической регистрации (enrolment presentation limit): Максимальное число предьявлений (или максимальная продолжительность предъявления). которое может осуществить испытуемый субъект, прежде чем попытка биометрической регистрации будет прекращена.

4.2.7    инструкция (guidance): Указания, предоставляемые администратором биометрической системы испытуемому субъекту в процессе биометрической регистрации или биометрического распознавания.

Примечание — Инструкция не является частью звуковой или графической обратной связи, обеспечиваемой биометрической системой или устройством сбора биометрических данных в процессе биометрической регистрации или биометрического распознавания

4.2.8    навыки (habituation): Уровень знаний испытуемого субъекта об устройстве сбора биометрических данных.

Примечание — Испытуемый субъект, обладающий знаниями об использовании устройства сбора биометрических данных, рассматривается как испытуемый субъект, обладающий навыками

4.2.9    попытка сравнения (comparison attempt): Предоставление одного или нескольких биометрических образцов испытуемого субъекта с целью их дальнейшего сравнения в биометрической системе.

4.2.10    предельное число попыток сравнения (comparison attempt limit): Максимальное число попыток (или максимальная продолжительность попытки), которое может осуществить испытуемый субъект до того, как транзакция сравнения будет прекращена.

4.2.11    предъявление для сравнения (comparison presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для сравнения с биометрическим контрольным шаблоном.

Примечание — Для совершения попытки сравнения может разрешаться или требоваться одно или несколько предъявлений для сравнения Предъявление для сравнения может 8 результате приводить или не приводить к формированию попытки сравнения

4.2.12    предельное число предъявлений для сравнения (comparison presentation limit): Максимальное число предъявлений (или максимальная продолжительность предъявления для сравнения). которое может осуществить испытуемый субъект до того, как попытка сравнения будет прекращена.

4.3 Эксплуатационные характеристики

4.3.1 вероятность отказа обработки исходных данных; ВООИД (failure at source rate): Доля биометрических образцов, удаленных из базы данных (либо вручную, либо автоматически) до начала ее использования в технологическом испытании.

Пример —Доля изображений, собранных в процессе сбора данных лица, которые могут быть удалены о случае, если изображения лица являются дефектными.

4.3.2 мультимодальная ВОБР¹; МВОБР (multimodal FTE. MFTE): Доля выборки, для которой мультимодальная биометрическая система с заявленной политикой биометрической регистрации не может завершить процесс биометрической регистрации.

Примеры

1    Для политики, которая предусматривает биометрическую регистрацию хотя бы одной из множества биометрических модальностей, МВОБР будет представлять собой долю субъектов, которые не могут зарегистрировать ни одну биометрическую модальность. Это приводит к снижению эффективной ВОБР.

2    Для политики, которая предусматривает биометрическую регистрацию всех биометрических модальностей, МВОБР будет составлять долю субъектов, которые не могут зарегистрировать одну или несколько биометрических модальностей. Это приводит к эффективной ВОБР, большей или равной самой большой ВОБР для одной биометрической модальности.

5 Обзор технологических и сценарных испытаний

Настоящий стандарт устанавливает методы проведения двух видов испытаний — технологического и сценарного. Протокол испытания должен включать в себя информацию о виде проводимого испытания — технологического, сценарного или смешанного, которое совмещает элементы технологического и сценарного испытаний.

Технологическое испытание — это испытание одного или нескольких алгоритмов для одной биометрической модальности, проводимое в режиме отложенного задания и использующее ранее существовавшую либо специально собранную базу данных биометрических образцов. Преимущество технологического испытания заключается в его отделении от процесса взаимодействия человека с датчиком при получении биометрических данных и процесса биометрического распознавания, что обеспечивает следующие возможности:

-    возможность проведения испытания путем использования полного перекрестного сравнения. Технологическое испытание позволяет использовать всю испытуемую выборку в качестве претендентов на идентичность всем остальным субъектам (то есть «самозванцам»), что позволяет оценить вероятность ложного совпадения (ВЛС) при сравнении «один к Л/²», а не «один к /V»;

-    возможность проведения пробных испытаний. Технологическое испытание может быть проведено без вывода результатов в режиме реального времени, что позволяет использовать его в рамках научно-исследовательской работы. Например, проведение замкнутых циклов испытаний позволяет определить влияние модификаций алгоритмов обработки, изменений динамических параметров (таких как уровень и структура затрачиваемых усилий) и использования различных баз данных изображений;

-    возможность проведения испытаний на нескольких экземплярах биометрической характеристики с применением нескольких алгоритмов. Использование типовых процедур испытаний, стандартных интерфейсов и метрик предоставляет возможность проведения серии испытаний биометрических систем с использованием нескольких экземпляров биометрической характеристики (например, три изображения лица) с применением нескольких алгоритмов (например, алгоритм А и алгоритм В) или их комбинации;

-    при условии что база данных содержит подходящие биометрические образцы, технологическое испытание позволяет провести испытания всех модулей после интерфейса получения биометрических данных с помощью датчика, в том числе модуль(и) проверки качества и обратной связи, модуль(и) обработки сигнала, модуль(и) обобщения изображений (в случае работы с мультимодальными биометрическими системами или системами, использующими несколько экземпляров биометрической характеристики). модуль(и) извлечения и нормализации биометрических признаков, модуль(и) обобщения биометрических признаков, модуль(и) вычисления и обобщения результатов сравнения и модуль(и) нормализации показателей;

-    какие-либо непредвиденные события, возникающие в процессе взаимодействия человека с датчиком, препятствуют воспроизводимости результатов, что усложняет проведение сравнительных испытаний биометрических систем. Устранение данного взаимодействия как фактора, влияющего на эксплуатационные характеристики, позволяет обеспечить воспроизводимость результатов испытаний. В режиме отложенного задания данное испытание можно повторять множество раз при незначительных затратах;

-    если доступны данные биометрических образцов, то эксплуатационные характеристики могут быть определены по очень большим целевым выборкам с использованием биометрических образцов, собранных за длительный промежуток времени (в течение нескольких лет).

Примечания

1    Составление базы данных биометрических образцов для проведения биометрической регистрации и вычисления результатов сравнения в режиме отложенного задания позволяет точнее определять те биометрические образцы и попытки биометрической регистрации, которые будут использованы в транзакциях

2    Технологическое испытание всегда предполагает наличие хранилища данных для их последующей обработки в режиме отложенного задания При сценарном испытании использование транзакций в режиме реального времени может быть проще для экспериментатора, поскольку биометрическая система работает в обычном режиме и сохранение биометрических образцов не требуется, хотя и рекомендуется

Сценарное испытание — это определение эксплуатационных характеристик биометрической системы с помощью прототипа или имитирующего приложения, осуществляемое в режиме реального времени. Преимущество проведения сценарного испытания заключается в учете процесса взаимодействия человека с датчиком при биометрической регистрации и биометрическом распознавании, что обеспечивает следующие возможности:

-    возможность определения влияния дополнительных попыток или транзакций на способность биометрической системы регистрировать или распознавать испытуемых субъектов;

-    возможность определения пропускной способности биометрической системы при биометрической регистрации и биометрическом распознавании с учетом продолжительности процессов предъявления и сбора биометрических образцов.

Примечания

1    При испытаниях в режиме реального времени экспериментатор может принять решение не сохранять биометрические образцы, что снижает требования к подсистеме хранения данных и в некоторых случаях обеспечивает реальные условия работы биометрической системы Однако при испытаниях в режиме реального времени биометрические образцы рекомендуется сохранять, что впоследствии позволяет проводить испытания и дальнейший анализ в режиме отложенного задания

2    Испытание биометрической системы включает в себя сбор изображений или сигналов, используемых для формирования биометрических контрольных шаблонов при биометрической регистрации и расчета результатов сравнения при последующих попытках Собранные изображения и/или сигналы могут быть сразу использованы для биометрической регистрации, биометрической верификации или биометрической идентификации в режиме реального времени попытки либо могут быть сохранены для последующего проведения указанных процедур в режиме отложенного задания

Различия между технологическим и сценарным испытаниями приведены в таблице 2.

Таблица 2 — Различия между технологическим и сценарным испытаниями

Объект сравнения Технологическое испытание Сценарное испытание Что подвергается испытанию Биометрический компонент (алгоритм сравнения или извлечения биометрических признаков) Биометрическая система Объект испытания Эксплуатационные характеристики алгоритма^) при работе со стандартизированной базой данных Эксплуатационные характеристики биометрической системы в режиме имитирующего приложения Истинная информация Установленные связи между биометрическими образцами и их источниками, зависящие от ошибок сбора биометрических данных и области пересечения объединенных данных Установленные связи между решениями биометрической системы и независимо записанными источниками представляемых биометрических образцов. зависящие от ошибок сбора биометрических данных и невозможности выявления нежелательных действий со стороны испытуемого субъекта Контроль экспериментатором действий испытуемого субъекта В ходе испытания невозможен Может быть осуществлен только в процессе получения биометрических данных Возможен в том случае, если действия испытуемого субъекта не являются независимой величиной

1

ВОБР — вероятность отказа биометрической регистрации